ChatGLM2-6B 微调

复现开源项目

梦中情炉

以单样本向 ChatGLM-6B 注入知识，基于 AdaLoRA，包含源码，并在文末进行深入讨论。

参考文章：

• 单样本微调给ChatGLM2注入知识~ - 知乎 (zhihu.com)

ptuning

有多人反馈：

• 官方的ptuning调出来貌似原有的通用能力都丢的差不多了，有没有办法在保留原能力的基础上扩展垂直领域啊
• 有一个人有一个开源项目，对各种微调方式进行了对比：liucongg/ChatGLM-Finetuning: 基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等

网络资源

• SpongebBob/Finetune-ChatGLM2-6B: ChatGLM2-6B 全参数微调，支持多轮对话的高效微调。 (github.com)
  • SpongebBob/Finetune-ChatGLM2-6B: ChatGLM2-6B 全参数微调，支持多轮对话的高效微调。 (github.com)
• 【微调】CHATGLM2-6B LoRA 微调 - 知乎 (zhihu.com)
  • hiyouga/ChatGLM-Efficient-Tuning: Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调 (github.com)
• 官方ChatGLM-6B模型微调方法 - 知乎
• yuanzhoulvpi2017/zero_nlp: 中文nlp解决方案(大模型、数据、模型、训练、推理)
  • 有 chatglm-v2-6b 的微调教程
• chatglm2-6b微调实战 - 知乎 (zhihu.com)
• THUDM/chatglm2-6b · Discussions (huggingface.co)
• 社区供稿 | 60 分钟吃掉 ChatGLM2-6b 微调范例 - Hugging Face - OSCHINA - 中文开源技术交流社区
• chatglm2-6b微调实战_Macropodus的博客-CSDN博客
• 一分钟上手ChatGLM2-6B模型微调 - 哔哩哔哩 (bilibili.com)
• LangChain+ChatGLM2-6B搭建知识库 - BOTAI - 博客园 (cnblogs.com)
• LangChain + ChatGLM2-6B 搭建个人专属知识库-腾讯云开发者社区-腾讯云 (tencent.com)
• 一分钟上手ChatGLM2-6B微调 (xbeibeix.com)
• ChatGLM2-6B Efficient Tuning (huyida.tech)
• 算法美食屋 - 知乎 (zhihu.com)

本文作者：Maeiee

本文链接：ChatGLM2-6B 微调

版权声明：如无特别声明，本文即为原创文章，版权归 Maeiee 所有，未经允许不得转载！

喜欢我文章的朋友请随缘打赏，鼓励我创作更多更好的作品！